Bapa Landesteiner, Leopold (1818 - 1875) merupakan seorang wartawan dan ketua editor terkenal untuk Die Presse di Vienna; dia meninggal dunia pada umur 56 tahun semasa Karl berusia 6 tahun. Kematian bapanya merapatkan hubungan beliau dengan ibunya, Fanny (1837 - 1908). Selepas bergraduasi dengan keputusan peperiksaan Matura dari sebuah sekolah menengah Vienna, beliau mengambil jurusan perubatan di Universiti Vienna dan mengarang tesis kedoktoran pada tahun 1891. Semasa beliau masih merupakan seorang pelajar, beliau telah menerbitkan sebuah esei yang bertumpu kepada pengaruh diet ke atas komposisi darah.

Dari tahun 1891 - 1893, Landesteiner mempelajari jurusan kimia di Würzburg, di bawah pengawasan Hermann Emil Fischer di München, Eugen Bamberger dan di Zürich, di bawah pengawasan Arthur Rudolf Hantzsch. Beberapa jumlah terbitan hasil kerjasama beliau dan profesornya pada masa itu menunjukkan beliau tidak mengehadkan diri kepada ajaran kelas kuliah sahaja.